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Verfahren zurTrennung von Zoom-, Rotations- und Translationsparametern bei der Ermittlung globaler 
Bewegungsparameter in Bildsequenzen 

Verfahren zur Trennung von Zoom-, Rotations- und Trans- 
lationsparametern bei der Ermittlung globaler Bewegungs- 
parameter von HDTV Bildern. 

Bisher wurden aufwendige rekursive Verfahren, wie z. B. 
lineare Regression eingesetzt urn Bewegungsparameter von 
Objekten und Hintergrund zu bestimmen. Die Schnelligkeit 
der Konvergenz hing von der Bildvorlage ab. In kritischen 
Fallen versagte das Verfahren. 

Mit Hilfe von Parametereliminationen und einer Transforma- 
tion, die jedem Bitdpunkt und dem dazugehorigen lokaien 
Geschwindigkeitsvektor eine Gerade oder eine Ebene zuord- 
net, werden uber einfache Histogramme die Bewegungspa- 
rameter einer globalen Bewegung bestimmt. Das Maximum 
in den Histogrammen liefert die Bewegung des grofiten 
Gebietes. Wird der EinfluB dieses Gebietes auf das Histo- 
gramm unterdruckt, d. h. dieses Bildgebiet fur die Histo- 
grammberechnung nicht berucksichtigt, so kann die globale 
Bewegungsinformation fur das nachstgroSere Gebiet be- 
stimmt werden. 

Das Verfahren wird vorwiegend bei der Codierung von 
Bildern fur die Bildubertragung und bei einer qualitativ 
hochwertigen Normwandlung fur Bewegtbildszenen einge- 
setzt. 
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Beschreibung 

Erfindung bcirifft ein Vcrfahrcn zur Trcnnung von Zoom-. Rotations- und Translationsparametem bei der 
Berechnung globaler Bcwegungsparameter in bewegten Femsehbildsequenzen. Bei der Codierung von Bildse- 
quenzen fur die Bildubertragung - z. B. HDTV oder Bildfernsprechen - oder bei einer qualitativ hochwertigcn ^ 
Normwandlung fur Bewcgtbildszenen - z. B. von 60 Hz auf 50 Hz - spieien Bewcgungsvektbrcn eine zentrale 
Rolle. Durch den Vcrgleich zweier aufeinander folgendcr Bildcr kann die Vcrschiebung eines Objektes von 
einem zum nSchsten Bild besiimmt werden. Hicrbci wird das Bild ubiicherweise in Blocke aufgeteilt mit 
BIockgroQen von 8-8 bis 16- 16 Bildpunkten, Die BlockgroBe spieii jedoch im folgenden keine Rolle. Die so 
gewonnenen oder "gemessenen" Verschiebungs- bzw. Bewcgungsvekioren werden bei Bitraienreduktionsiech- 
niken vom Sender zum Empfanger iibertragen und im Empfanger zur Rekonstruktion eines Bildes auf der Basis 
des vorhergehenden benutzL Bei Normwandlungen werden sie benutzt. um zciilich dazwischenliegende Bilder 
zu erzeugen. 

Aus diesen Bewegungsvektoren lassen sich die Bcwegungsparameter ermitteln, die nlchi mehr der Bewegung 
eines kleinen Blockes zugeordnet sind, sondern der Bewegung eines groBeren Objektes bzw. des Hiniergrundes 
(bei z, B. Kameraschwenk oder Zoom). 

Bisher wurden aufwendige rekursive Verfahren. wie z. B. lineare Regression eingesetzt um translatorische 
Bewegungen von Zoom und Rotation zu trennen und so die Bcwegungsparameter von Objekien und Hinter- 
grund zu bestimmen. 

Die Schnelligkeit der Konvergenz hing dabei von der Bildvorlage ab und in kritischen Fallen versagte das 
Verfahren (siehe: Goetze. M: "Generation of motion vector fields for motion compensated interpolation of 
HDTV signals", signal processing of HDTV. Elsevier Science Publishers B. V. (North-Holland), 1988, S. 
383-391). 

Im folgenden wird ein wesentlich einfacheres Verfahren angegeben, durch das die Bcwegungsparameter von 
grdBeren Objekten bzw. Hintergrund aus den gemessenen Bewegungsvektoren uber 2- bis 3-dimensionale 
Histogramme ermittelt werden konnen. Im Gegensatz zu bisher ublichen Verfahren entfallcn alle rekursiven 
Berechnungen. Es wird eine direkte Untersuchung der lokalen Bewegungsvektoren durchgefuhrt 

Die Bewegungsvektoren konnen dabei nach verschiedenen, in der Liieratur beschriebcnen Verfahren ermit- 
telt werden. Am anschaulichsten isi das sogenannte Blockmatching- Verfahren, das schematisch in Fig. 4 darge- 
steilt ist. Dem Blockmatchingverfahren liegt folgender Ablauf zugrunde: 

A) Verzogerung um zwei Teilbilder oder ein Vollbild 

B) Blockweise Bildzerlegung; die zweidimensionalen Blocke beinhalten z. B. 4-4 oder 8-8 oder 16- 16 
Biidpunkte. 

C) Festlegung eines zweidimensionalen Suchbereiches, z. B. von ±17- ±17 Bildpunkten. 

D) Vcrschiebung eines zu B korrcspondierenden Blockes um jeweils einen Bildpunkt oder um einen 
Bildpunkt in der Nachbarzeile im Suchbereich pro Verarbeitungsschritt. 

E) Bestimmung der Korrelation zwischen den Blocken aus B und D; in der einfachsien Ausbildung wird nur 
eine Differenz zwischen den Bildelemenlen der korrcspondierenden Blocke von B und D gemessen und 
uber den gesamten Block aufsummiert(Blockdifferenz). 

F) Ermittlung der hochsten im Suchbereich crmitteltcn Korrelation bzw. der geringsten Blockdifferenz. 
Hieraus ergibt sich die Vcrschiebung des Blockes auf Grund von Bewegung. 

G) vcktorielle Darstellung der Vcrschiebung (Bewegung). 

Das erfindungsgemslBe Verfahren crmoglichl bei gleichzeitigem Auftrcten von Zoom. Rotation und Transla- 
tion eine Trcnnung dieser drei Bewegungen. Ober cine Nachvcrarbeiiung der Bewegungsvektoren lassen sich 
dann dicglobalcn Bcwegungsparameter jedcr der drei Bewegungen ermitteln. 

Das Verfahren ist unabhangig davon, ob bei der Darstellung der Bewcgungsvekioren eine Pel- oder Subpcl- 
Auflosung gewahlt wird. Pel-genaue Auflosung bedeutet, daB die gemessenen Vcktoren sich nur auf das 
ursprungliche zwcidimensionale und im allgemeinen Fall auch orthogonale Abtasiraster beziehen. Bei subpel- 
genauer Auflosung sind auch Zwischenrasterpunkte erlaubt. die jedoch aus dem ursprunglichcn Abiastrastcr 
intcrpoliert werden mussen. 

Die globalc Bewegungsschitzung fiihrt auf Grund der Statistik der Bewegungsvektoren im allgemeinen auf 
Subpel-Gcnauigkcit, auch wenn von pel-genauen Vcktoren ausgegangen wird. 

Trcien gleichzeitig Zoom. Rotation und Translation auf, so ist von folgender Gleichung auszugchen: 

v, = a, - yr + xb v - (v,, Vy) 

/ (1) 

Vy - a^ + XT + yb (x, y) 

Die horizontale und vertikale Richtung des Bildes ist mit x bzw. y bezcichnct und (vx, Vy) ist der zum Bildpunkt 
(x.y) gehorende und "gemcssene" Verschiebungsvektor. Der gesuchte Zoomparamcter ist mit b bezeichnel, der 
Parameter fur die Rotation mit r und die gesuchten Parameter fiir die translatorische Bewegung in x- und 
y-Richtung mit ax bzw. ay. 

Liegcn die Mittelpunktc vom Zoom und Rotation nicht im Ursprung des Koordinatensystems. und dies wird 
normalcrweisc der Fall scin, so konnen die auftretenden Zusatzterme auch ais translatorische Scheinbewegun- 
gen intcrpretiert werden. 
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Diese auftreienden Scheinbewegungen werden in die iranslatorische Bewegung eingerechnei und damit kann 
ohne BeschrSnkung der Allgemeinglilligkcit der Koordinatcnursprung fcstgelegt werden (z. B. in Bildmitte) und 
Ro.taiion und Zoom kdnnen bzgl dieses Punktes definiert werden. was in Gleichung 1 geschehen ist 

Man hat nun iie Moglichkeil, entweder den Zoomparameter b odcr den Roiationsparameter r zu climinieren. 

Bei EUminatioi) des Zoomparamelers b ergibt sich 

I. 

v;x - v,y - ayx - aiy + (x^ "+ y2)r (2) 

Werden die GroOen ax. ay und r als Achsen eines Kobrdinaiensystems im dreidimensionalen Raum aufgefaOi. 
so bildet Gleichung 2 eine Ebene in diesem Raum. Die Mcnge aller Ebenen schneiden sich in einem Punkt mit 
den gesuchten Rotations- und Translationsparametern. Die Ebenen schneiden sich nicht in einer Geraden. Wird 
der Rotationsparameter r als Funktion von (ax. ay) aufgefaBt so hSngt die Steigung der Ebene in den Richiungen 
ax bzw. ay von x bzw. y ab ( - xJ{x^ + y^) bzw. y/{x^ + y^)) und ist damii fur jeden Wert von (x. y) anders. 

Im Raum (ax. ay, r) werden die Werte der Punkte auf den jeweiligen Ebenen urn 1 erhoht Das so erstellte 
Histogramm ist dreidimensional, das Maximum stellt den gesuchten Wert dar. 

Bei Fernsehbildem sind die Bewegungsvekioren meist nicht exakt bestimmbar, sondern mit einer gewissen 
Schwankungsbreite behaftet Es wird dann keine sauberen Schnitipunkte mehr geben, sondern Bereiche. in 
denen sich die Ebenen gehauft schneiden. Das Maximum dieses Bereiches wird dann ais die globale Bewegung 

inierpretiert • • • j j 

Zur Ermittlung des Zoomparameters b kann in Gleichung I der Rotationsparameter r climmiert werden und 

analog wie oben ein dreidimensionales Histogramm mit ax. ay und b als Koordinaienachsen gebildet werden. 

Einfacher ist es allerdings, wenn in die Gleichungen I die gewonnenen Werte von ax. ay und r eingesctzt werden 

und Ober ein einfaches Histogramm der Zoomparameter b ermittelt wird. 
Genausogut kann naturlich erst r aus Gleichung I eliminiert und anschlieBend ermittelt werden. 
In Fig. 1 ist die Ermittlung der globalen Parameter fiir Translation, Rotation und Zoom schematisch darge- 

siellLPig. 1 liegt folgender Ablauf zu Grunde: 

A: Speicherung der in der gesamien Figur ermiitelten Vektoren (Vektorfeldspeicher) 
xi, y;: Blldpunktkoordinaten 
vxi, Vyi: zugeordnele Vektoren. 

B: Einsetzen der Werte Xi, yi. Vxi, Vyi in die Ebenengleichung 
0 = li(ax, ay, r) - - VyX + Vxy + ayX - axy + (x^ + y^)r 

d. h. AdreBberechnung all der Speicherelemente einer Speichermatrix. die den Punkten dieser Ebene 
zugeordnet sind 

C: Akkumulation der Ebenen in der (a*, ay. r)-Speichermatrix ergibt dreidimensionales Histogramm h(ax, ay, 

D: Spitzenwertdetektion ergibt die globalen Parameter axgiob. aygiob fiir reine translaiorische Bewegung und 
Tgiob fiir rotatorische Bewegung. 

E: Ermittlung des Zoom-Parameters bj aus den Gleichungen 
bxi - Vxi - axgiob + Xirgiob und byi - Vyj - aygiob + xirgiob 

d. h. Adrefiberechnung des Speicherelementes, das dem Punkt bi zugeordnet ist. 

F: Akkumulation der Punkte im bi-Speicher zum eindimensionalen Histogramm h(b). 

G: Spitzenwertdetektion ergibt den globalen Zoom-Parameter bgiob- Analog kann auch verfahren werden. 
wenn in einer Bildfolge gleichzeitig nur Zoom- und Translation vorliegen. Ist ein Zoom mit einer translatori- 
schen Bewegung uberlagert, kann in der Bildebene die Bewegung wie folgl beschrieben werden: 

V, = a, + bx V = (v.. Vy) 

Vy = a^ + by (x. y) 



Die horizontale und vertikale Richtung des Bildes sind mit x bzw. y bezeichnet und (vxVy) ist der zum Bildpunkt 
(x,y) gehorende und "geniessene" Verschiebungsvektor. Der Zoomparameter ist mit b bezeichnet und die 
gesuchten Parameter fur die translatorische Bewegung in x- und y-Richtung mit ax bzw. ay. 

Liegt der Mittelpunkt des Zoomes nicht in Bildmitte, so werden die auftretenden Zusatzterme als translatori- 
sche Scheinbewegung aufgefaQt und mit der bereits vorhandenen translatorischen Bewegung zu einem Term ax. 
ay zusammengefaBt 

Wird in Gleichung 3 der Zoomparameter b eliminiert, ergibt sich: 

(ay - vy)x « (ax - vx)y (4) 

Fur jeden Bildkoordinatenpunkt (xi. yi) werden die Bewegungsvektoren (vxi. Vyi) als bekannt angesehen, da es 
gemessene GrdBen sind. Werden nun die GrGBen (ax. ay) als Variable behandelt, so stellt diese Gleichung erne 
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lineare Zuordnung zwischen und ay her. Zu jedem Bildpunkt mit den dazugehdrenden Bewegungsvektoren 
gehort also eine Gerade im (ax. ay) - Raum. Allen Bildpunkten, die sich mil der gleichen translatorischen 
Geschwindigkeit bcwegen, sind Geraden zugeordnci, die sich in tm^ Punkt (axgiob. aygiob) trcffen. Die beiden 
Geschwindigkeitcn (axgiob, aygiob) siellen dann die translatorischen Geschwindigkeiisparameter in x- bzw. 
y-Richiung dar. Zu jedem Bildpunkt mil den dazugehdrenden Bewegungsvektoren muB also erne Gerade nach • 
Gleichung 4 gezeichnei werden. Schniiipunkte mehrerer Geraden ergeben dann die iranslaiorische Bewegung 
auch bei vorhandenem Zoom. 

Bei Fernsehbildern sind die Bewegungsvektoren mcist nichi exaki besiimmbar. sondern mit eincr gcwisscn 
Schwankungsbreiic behaftet Es wird dann keine sauberen Schniiipunkte mehr geben, sondern Bereiche. in 
denen sich die Geraden gehaufi schneiden. Das Maximum dieses Bereiches wird als die iranslaiorische Bewe- 
gung inierpreiieri. 

Wird nun das gefundene Maximum (oder die gefundenen Maxima) in der (ax. ay) Ebene in Gleichung 3 
eingeseizi, so ergibi sich 

bx =- Vx — axgiob 

by = Vy — aygiob (5) 

der Zoomparameier b. Fiir jeden Bildpunkt mit den dazugehdrenden "gemessenen" Bewegungsvektoren (vxi. Vyi) 
wird der Wert von b berechnet Ober ein Histogramm h(b) isi cs dann einfach, den Wert von b zu bestimmen, der 
am haufigsien angenommen wird Dieses Maximum von h(b) gibt den gesuchten Zoom-Parameter bgiob. 

In Fig. 2 ist die Ermiitlung der globalen Parameter schematisch dargestellt Dabei isi von folgendem Ablauf 
auszugehen. 

A: Speicherung der in der gesamten Figur ermiitelten Vekioren (Vekiorfeldspeicher) 
xi, yi: Bildpunkikoordinaien 
Vxi, Vyi: zugeordnete Vekioren. 

B: Einsetzen der Wene Xi, yi, Vxi, Vyi in die Geradengleichung: 
0 = fi(ax. ay) - (ay - Vx)x - (ax - Vx)y 

d. h. AdreBberechnung all der Speicherelemente einer Speichermatrix, die den Punkien dieser Geraden 
zugeordnet sind 

C: Akkumulation der Geraden in der (ax. ay>-Speichermairix ergibt dreidimensionales Histogramm h(ax. ay). 
D: Spitzenwerldeteklion ergibt die globalen Parameter axgiob und aygiob fiir reine iranslaiorische Bewegung. 
E: Ermitilung des Zoom-Parameters bi aus den Gleichungen 

bx = Vxi — axgiob und by Vyi — aygiob 

d. h. AdreBberechnung des Speicherelemenies einer Speichermatrix, der dem Punkt bi zugeordnet ist 
F: Akkumulation der bi-Wene zum eindimensionalen Histogramm h(b). 
G: Spitzenwertdeiektion ergibi den globalen Zoom-Parameter bgiob. 

Analog kann auch verfahren werden, wenn in einer Biidfolge gleichzeilig Rotation und Translation vorliegen. 
Der lokale Bewegungsvektor laBt sich darslellen als Oberlagerung der translatorischen Bewegung (ax, ay) und 
der rotaiorischen Bewegung mil dem Rotalionsparameier r. 

V, = a, - yr v = (v,, v,) 

f ^^ (6) 
Vy = ay + xr (x, y) 

Stimmt der Ursprung des Koordinatensystems nicht mit dem Mitielpunkt der Rotation uberein, so kann dieser 
Unierschied wiederum als Scheinbewegung interpretiert werden und mil der translatorischen Bewegung ver- 
rechnet werden. 

Die Vorgehensweise ist nun analog wie bei der Trennung von Zoom und iranslaiorischer Bewegung. Die 
Elimination des Roiationsparameiers r gibt einen linearen Zusammenhang zwischen a, und ay bei bekannten 
lokalen Bewegungsvektoren (vx, Vy) und On (x.y): 

(vy - ay)y = -(vx - ax)x (7) 

Wiederum ist der Schnittpunkt der Geraden von verschiedenen lokalen Bewegungsvektoren und Orten der 
gesuchie Wert der translatorischen Bewegung. Zur Bestimmung des Schniiipunktes wird in der Geschwindig- 
keitsebene (ax. ay) ein zweidimensionales Histogramm erslellt, bei dem enilang jeder Geraden der Wert jeweils 
erhohtwird. 

Bei bekannten translatorischen Bewegungsparametern kann dann mit den beiden Gleichungen 6 der Rota- 
lionsparameier r Uber ein Histogramm bestimmi werden. 

In Fig. 3 ist die Ermitilung der globalen Parameter fur Translation und Rotation schematisch dargestellt Fig. 3 
liegi folgender Ablauf zu Grunde: 
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A: Speicherung der in der gesamten Rg. 3 ermitielien Vekioren (Vektorfeldspeicher) 
xi, y\: Bildpunktkoordinaten 
( vxi, Vyi: zugeprdneie Vektorcn. 

B: Einsetzerl der Werte xi, yi, v^. Vyi in dfe Geradengleichung 
0 - gi(ax.ay) - (ay-vy)y + {ax-Vx)x 

d. h. AdreBberechnung der Speicherelemente einer Speichei-matrix. die den Punkten der Geraden zugeord- 

netsind. • , u- l/ 

C: Akkumulation der Geraden in der (ax. ay)-Speichermatrix ergibt em zweidimensionales Histogramm h(Zx. 

ay). 

D: Spitzenwertdetektion ergibt die giobalen Parameter axgiob und aygiob fur reine iranslatorische Bewegung. 
E: Ermitilung des Rotationsparameiers n aus den Gleichungen 

rxi =« Vyi — aygiob und ryi — Vxi — axgiobt 

d h. AdreBberechnung des Speicherelementes einer Speichermatrix, das dem Punkt n zugeordnet isL 
F: Akkumulation der Punkte n-Speicher zum eindimensionalen Histogramm h(r), 
G: Spitzenwertdetektion ergibt den giobalen Rotations- Parameter rgiob- 

Patentanspriiche 

L Verfahren zur Trennung von Zoom-. Rotations- und Translationsparameiern bei der Ermittlung globaler 
Bewegungsparameter in Bildsequenzen (Vollbild oder Tcilbild) dadurch gekennzeichnet, 
daQ die durch eine Nachverarbeitung der Bewegungsvektoren gewonnenen giobalen Bewegungsparameter 
dadurch bestimmtwerden, , •> y^ a j- 

daQ die jedem Bildkoordinatenpunkl (xuy;) zugeordnete Ebene ayX-axY + (x^+ y^r-vyx + v^y - 0, die 
durch Elimination des Zoomparameters (b) aus den Bewegungsgleichungen gewonnen wurde, mitlels ernes 
dreidimensionalen Histogramms in einer Speichermatrix akkumuliert wird. 

daS mit anschlieBender Spitzenwertdetektion die giobalen Parameter fur die translatorische Bewegung 
(axgiob. aygiob) und die rotatorische Bewegung (rgjob) ermittelt werdea daB die jedem Bildkoordinatenpunkl 
(xi, yi) bei bekannter translatorischer Bewegung (axgiob, aygiob) und bei bekannter roiatorischer Bewegung 
(rgiob) zugeordnete Zoombewegung (b) mittels eines eindimensionalen Histogramms m einer Speicherma- 
trix akkumuliert wird und daB mit anschlieBender Spitzenwertdetektion der globale Zoomparameter(bgiob) 
detektiert wird. i • 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet. daB zur Trennung von Rotations- und Translations- 
parameiern die durch eine Nachverarbeitung der Bewegungsvektoren gewonnenen giobalen Bewegungs- 
parameter dadurch bestimmt werden, daB die jedem Bildpunkt (xi.yi) zugeordnete Gerade Vyy - ayy -h v,x - 
axx = 0, die durch Elimination des Rotationsparameiers (r) aus den Bewegungsgleichungen gewonnen 
wurde, mittels eines zweidimensionalen Histogramms in einer Speichermatrix akkumuliert wird. 

daB mit anschlieBender Spitzenwertdetektion die giobalen Parameter fiir die translatorische Bewegung 
(axgiob, aygiob) ermittelt werden und daB die jedem Bildkoordinatenpunkl (xi.yi) bei bekannter translaion- 
scher Bewegung (axgiob, aygiob) zugeordnete rotatorische Bewegung (rgiob) mittels eines eindimensionalen 
Histogramms und anschlieBender Spitzenwertdetektion ermittelt wird. 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnei, daB zur Trennung von Zoom- und Translationspa- 
rameiern die durch eine Nachverarbeitung der Bewegungsvektoren gewonnenen giobalen Bewegungspa- 
rameter dadurch bestimmt werden, daB die jedem Bildpunkt (xi,yi) zugeordnete Gerade axv - Vxy- ayX + VyX 
- O, die durch Elimination des Zoomparameters (b) aus den Bewegungsgleichungen gewonnen wurde, 
mittels eines zweidimensionalen Histogramms in einer Speichermatrix akkumuliert wird. 

daB mit anschlieBender Spitzenwertdetektion die giobalen Parameter fur die translatorische Bewegung 
(axgiob, aygiob) ermittelt werden, und daB die jedem Bildkoordinatenpunkl (xi.y.) bei bekannter transUtori- 
scher Bewegung (axgiob. aygiob) zugeordnete Zoombewegung (bgiob) mittels eines eindimensionalen Histo- 
gramms und anschlieBender Spitzenwertdetektion ermittelt wird. 

4. Verfahren nach Anspruch I bis 3, dadurch gekennzeichnet. daB zur Darstellung der Bewegungsvektoren 
eine Pel- Auflosungverwendet wird. . „ , 

5. Verfahren nach Anspruch i bis 3. dadurch gekennzeichnet. daB zur Darstellung der Bewegungsvektoren 
eine Subpel-Auflosung gewihlt wird 
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